package com.jack.spider;

import java.util.List;

import org.springframework.stereotype.Service;

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.processor.PageProcessor;

@Service
public class QiuBaiPageProcessor implements PageProcessor {

	// 部分一：抓取网站的相关配置，包括编码、抓取间隔、重试次数等
	private Site			site	= Site.me()
											.setRetryTimes(3)
											.setSleepTime(1000)
											.setUserAgent(
													"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36");

	@Override
	public void process(Page page) {
		// 部分二：定义如何抽取页面信息，并保存下来
		List<String> reString = page.getHtml().regex("<div class=\"content\">([\\s\\S]+?)<!--.+?-->").all();
		page.putField("list", reString);
		// 部分三：从页面发现后续的url地址来抓取
		// for (int i = 2; i < 35; i++) {
		// page.addTargetRequest("http://www.qiushibaike.com/textnew/page/"+i);
		// }
	}

	@Override
	public Site getSite() {
		return site;
	}

//	public static void main(String[] args) {
//
//		Spider.create(new QiuBaiPageProcessor())
//		// 从"https://github.com/code4craft"开始抓
//				.addUrl("http://www.qiushibaike.com/textnew/")
//				// 开启5个线程抓取
//				.thread(5).addPipeline(new QiuBaiPipeLine())
//				// 启动爬虫
//				.run();
//	}


}
